Khi Thái Bình Thiên Quốc nổi lên, Phan về quê chiêu mộ dân binh, tham gia trấn áp Thái Bình, được Tăng Quốc Phiên chú ý. Năm Đồng Trị nguyên niên (1862), Phan được thự Giang Tô thường trấn thông hải đạo, sau được gia thêm hàm Án sát sứ, Bố chánh sứ.

Năm Đồng Trị thứ 4 (1865), Phan được bổ đến Sơn Đông, soái lĩnh quân triều trấn áp Niệp quân. Sau được triều đình bổ nhiệm làm Sơn Đông Bố chánh sứ. Năm Đồng Trị 13 (1874), được thụ Vân Nam Bố chánh sứ. Năm Quang Tự thứ 2 (1876), được thăng Tuần phủ. Tuy nhiên, Phan có xung đột với Tổng đốc Lưu Trường Hựu, vì vậy không lâu sau bị điều trở lại kinh thành chờ bổ dụng.